Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?
Robust-U1：MLLMs能否自恢复损坏视觉内容以实现鲁棒理解？
🧭 多模态大模型 · 视觉自恢复 · 鲁棒性增强
The Hong Kong University of Science and Technology, Hong Kong · Northwestern Polytechnical University, Xi’an, China · Northeastern University, Shenyang, China · Nanjing University of Science and Technology, Nanjing, China · The Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China
赋予多模态大模型显式视觉自恢复能力，通过SFT+RL双奖励训练显著提升损坏图像下的鲁棒性。
📌 工作参考价值（4 点）
- 商品图像鲁棒理解：电商场景中用户上传图片常有模糊、遮挡、水印等损坏，可借鉴Robust-U1的自恢复模块进行预处理，提升后续商品识别或属性抽取的鲁棒性。
- 多模态Agent的视觉容错：Agent接收实时视频流或截屏时可能出现压缩伪影或抖动，采用修复-推理双路径（同时输入原图和恢复图）比单纯去噪更可靠，避免信息丢失。
- 训练范式可直接复用：用SFT打底 + RL双奖励（像素SSIM保证保真度，语义CLIP相似度保证高层一致性）的方法比直接微调生成模型更稳定，适合在业务数据上微调小规模修复模型。
- 质量感知的推理增强：论文证明修复质量（SSIM）与下游VQA分数高度相关，业务中可通过监控图像质量指标来主动触发修复流程或调整推理置信度。